JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs
JevAgentHarness：与LLM共享控制的决策模型基准、部署与训练
🧭 Agent决策模型与LLM级联降本提速 ★ 深度解读
University of Illinois Urbana-Champaign · Princeton University · Google
以置信度阈值将Agent常规多选决策委派给4B决策模型，最高降本89%、提速2.5倍，成功率损失<3点
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的 tool call 与参数选择中，可以把大量常规多选决策（查订单、选参数、退款原因、确认动作）交给 4B 级 decision model，按置信度级联；阈值需按 decision point 在 shadow 轨迹上单独拟合，不要用全局固定阈值（论文固定0.5掉21.5点）。
- 评测决策模型不能只看离线准确率：StartLux-9B 离线最好但在 task-level 仅 69.5%；建议建立 step-level/task-level 回归集，特别是包含错误后状态和 must-ask 状态，否则会误判上线收益。
- 训练专属小决策模型时，用业务 agent 自己的轨迹做 SFT 非常划算（Qwen3-4B shifted task 成功率 13.5%→96.0%，仅 2.2 GPU-hours）；数据里要刻意注入错误后状态（论文30.9%），否则模型无法应对 agent 自身失误后的局面。
- 不可逆/高风险动作（取消订单、支付、发送消息）不要只交给 decision model 或 guard；对新增业务规则需重新训练/重新拟合阈值，否则成功率可能从88%跌到3%。